XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference
XFP:面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
🧭 LLM ★ 深度解读
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限,自动决定每层最小位宽,实现消费级GPU上的大模型高效推理
每日 AI / 电商 / 推荐系统 / Agent 论文精选
1 篇
XFP:面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限,自动决定每层最小位宽,实现消费级GPU上的大模型高效推理